신내린 서비스!! Amazon Detective 아직도 안쓰시나요??

안녕하세요!ㅎㅎ Classmethod 컨설팅부 소속 김태우입니다.

지난 re:Invent 2019 에서 신 서비스로 발표된 Amazon Detective 가 지난 3월에 GA 되었습니다. Amazon Detective 는 Amazon GuardDuty 와 함께 모든 어카운트에 반드시 활성화시켜두어야하는 서비스로 꼽힐 정도로 시큐리티 인시던트 대응에 상당히 효과적이고, 가성비가 매우 좋은 서비스임에 비해, 이 글을 작성하는 시점에는 아직 많은 분들이 사용하지 않고 있는 듯 합니다.

그래서, 지난번의 Amazon GuardDuty 입문편 글에 이어, 오늘은 Amazon Detective 의 입문편을 작성해보려고 합니다.

혹시 Amazon GuardDuty 에 대해 잘 모르시거나 익숙하지 않으신 분들은 위에 제가 작성한 Amazon GuardDuty 포스팅을 읽고 오시는 것이 좋습니다. 왜냐하면 Amazon Detective 를 사용하기 위한 전제조건 중 하나가 Amazon GuardDuty 를 활성화하는것이거든요!ㅎㅎ

그럼, GuardDuty 에 대해 어느정도 전제 지식이 있다는 가정하에 Detective 서비스에 대한 입문편을 시작해보도록 하겠습니다! :)

Amazon Detective 세션 소개

본 글을 작성하기에 앞서, re:Invent 2019 에서 Amazon Detective 를 새롭게 발표한 세션영상을 한번쯤은 꼭 보시는 것을 추천드립니다. Amazon Detective 가 시큐리티 인시던트 대응과정에 있어서 어떤 역할을 잘 할 수 있도록 도와주는지, 어떤 기능들이 있는지, 그리고 25분 45초쯤부터 데모를 통해 어떻게 사용할 수 있는지를 전체적으로 설명해줍니다.

Amazon Detective 이 출시되기까지의 배경

세션 영상을 보시면 아실 수 있듯이, Amazon Detective 가 AWS 상에서의 시큐리티 인시던트 대응과정에서 어떤 역할을 하고 있는지를 정확히 파악하는 것이 가장 중요합니다. 즉, 도구가 아무리 훌륭해도 어떤 목적으로 사용되는 도구인지를 알지못하면 무용지물이라는 것과 같은 이치죠.

Amazon GuardDuty 에 대해 소개한 지난번 글 에서 설명했듯이, Amazon GuardDuty 는 AWS 시큐리티 인시던트 대응에서 Detect (탐지 혹은 검출) 단계에 도움을 주는 데 반해, Amazon Detective 는 Respond (반응, 혹은 조사) 단계에서 도움을 주는 서비스입니다.

Amazon GuardDuty 가 자동적으로 시큐리티 이슈를 탐지해주는 것까지는 너무 좋은데, 우선 GuardDuty 가 발견(탐지)해 준 Findings 가 True positive (정탐) 인지, False positive (오탐) 인지를 확인해야하는 작업을 당연히 거쳐야합니다. 또, 오탐이면 다행이지만, 정탐인 경우 정탐 사실을 겨우 확인했다고 하더라도 구체적으로 어떤 주체가 어떤 행위를 했는지, 그래서 어떠한 영향을 미쳤는지, 얼마나 심각한 수준의 사고였는지를 확인(조사)하는 과정을 거쳐야합니다.

이러한 조사 작업을 진행하기 위해서는 CloudTrail 에서 Management API 이벤트를 추적하는 Trail 을 생성해두거나, VPC Flow Logs, Config, Access Log 등을 통해 수집된 로그를 S3 에 저장해두고, S3 에 저장된 로그에 대해 Athena 에서 쿼리를 날려야 하는 작업이 동반되었습니다. Athena 에서 일일이 쿼리를 작성해서 조사하는 것보다도 익숙한 엑셀을 통해 빠르게 조사하기위해 Athena 의 쿼리 결과를 CSV 로 다운로드해서, 엑셀로 조사하는 경우도 적지 않았습니다.

이러한 조사의 대상은 GuardDuty 의 Findings 타입에 따라 달라졌으며, 이에 따라 함께 봐야할 로그들을 일일이 하나하나 직접 찾아야하는 (실제로는 Athena 에서 JOIN 을 날려서 작업하기보다는 관련있는 로그는 일단 전부다 엑셀로 다운받고, 수작업으로 찾던 느낌을 떠올리시면 될 것 같습니다) 현실을 부정할 수 없었습니다.

예를 들어, EC2 관련된 타입의 경우 Source IP, 시큐리티 그룹의 포트 (변경이력 등), IAM Role 등의 정보를 함께 봐야하는 반면, IAM User 와 관련된 타입의 경우, 액세스 키 정보, 유저의 IP 에 따른 위치(지역/국가), 조작한 리소스 타입과 종류, 실패했더라도 시도한 리소스 타입과 리젼 등의 정보를 확인해보고 싶을 것입니다.

아마 여기까지만 설명해도, AWS 에 대해 어지간한 지식과 경험이 있지 않고서는 즉각적인 대응을 할 수 있을리가 없다는 것을, 이정도 수준으로 대응이 가능한 고급인력들을 확보할 수 있는 팀은 그리 많지 않을거라는 사실을 눈치채셨을 것 같습니다.

그래서!!!! AWS 는 이러한 조사과정마저도 너무나 편안하게 만들어주는 Amazon Detective 를 올해 3월말에 GA 하였습니다. 서울 리젼도 지금 바로 사용가능합니다!!ㅎㅎ

Amazon Detective 의 특징

Amazon Detective 는 특정 시큐리티 문제와 관련된 다양한 종류의 리소스 타입을 손쉽게 조사할 수 있도록 하기 위해, 내부적으로는 그래프 형태의 분석 모델을 갖고 있습니다.

예를 들어, 특정 IAM User 가 가지고 있는 IAM Role 이 어떤 Policy 를 갖고 있고 어떤 리소스에 어떤 액션을 취했는가, 그 특정 IAM User 가 어떤 인스턴스를 생성했으며 어떤 API 를 사용했는가 등 관련있는 것들에 대한 다각도의 분석이 가능하도록 그래프 형태로 모델을 설계했다고 합니다. 또한, 복수개의 AWS 어카운트에서 데이터를 수집하여 한 곳에서 분석할 수 있도록 하는 Multi-account telemetry collection 기능도 제공합니다.

Amazon Detective 는 CloudTrail 로그, VPC Flow Logs, 그리고 Amazon GuardDuty 의 Findings 를 데이터 소스로 활용합니다. Amazon Detective 를 사용하기 위해 CloudTrail 및 VPC Flow Logs 를 활성화시켜놓을 필요는 없지만, 추후 개별적인 조사를 위해 별도로 활성화시켜놓는것이 AWS 의 시큐리티 베스트프랙티스 입니다.

또한, Amazon GuardDuty 의 Findings 를 데이터소스로 활용하기위해 반드시 Amazon GuardDuty 를 사전에 활성화시켜놓을 필요가 있습니다. Amazon GuardDuty 를 활성화시켜놓은 후 약 48시간정도가 지나야 Amazon Detective 를 활성화시킬 수 있다는 사실 은 꼭 알아두는것이 좋습니다!ㅎㅎ

Amazon Detective 는 활성화시켰다고해서 바로 사용할 수 있는 서비스는 아닙니다. 보통 약 2주간의 베이스라인을 학습하는 작업(평상시가 어떤 상태인지 파악해서 이상징후의 기준을 생성하는 작업)을 거치게 되며, 30일간의 무료 사용기간 중에는 이 학습기간도 포함이 되게 됩니다.

장황하게 글로만 전달하려니 제대로 이해가 안되실 수 있으니 이번에는 직접 콘솔화면을 보며 설명하도록 하겠습니다.

직접 해보는 Amazon Detective

Detective 를 활성화시키고 약 2주간의 시간이 지나면 (...) 위 이미지 처럼 Search 메뉴에서 조사를 진행하는 것이 가능해집니다. 이 때, 그냥 일단 보고 이것저것 눌러보면 되겠지~ 라고 생각하신 분들은 조금 놀래실 수도 있는데요, Amazon Detective 는 초기화면에서 리스트 형태로 한눈에 확인이 가능한 시큐리티 문제들을 표시해주지 않기 때문입니다.

이게 무슨말인가하면, "조사" 의 시작지점 을 미리 생각해두어야한다는 것입니다. 위 이미지에서 보면, GuardDuty findings 도 있는가하면, AWS account 나 EC2 를 시작지점으로 조사하는 방법 등이 있습니다. 따라서 조사의 시작지점을 미리 생각해두지 않으면 어떻게 시작해야할지 막막할 수 있습니다. 그렇다면 일반적으로 조사의 시작지점은 무엇일까요?

이미 짐작하신 분들도 계시겠지만 바로 Amazon GuardDuty 의 findings 로 부터 시작하는 경우가 일반적입니다. 생각해보면 당연한 것이, Amazon GuardDuty 에서 시큐리티 인시던트를 "Detect(탐지)" 해주고 이 것을 SNS 를 통해 시큐리티 담당자에게 통보해주게 되는데요 (이게 무슨말인지 모르시겠다면 본 포스팅의 서두에 있는 지난번 Amazon GuardDuty 글을 먼저 읽어주세요), 통보를 받은 담당자가 해당 GuardDuty finding 이 실제로 정탐인지 오탐인지를 확인하는 작업부터 진행해야하므로 Detective 에서도 GuardDuty 의 finding 으로부터 조사를 시작하는 경우가 일반적이 되는 것이죠!

그럼, 애초에 Detective 가 아니라 GuardDuty 콘솔에서 직접 조사를 시작하면 되지 않을까!? 하는 생각도 드실텐데요, GuardDuty 는 어디까지나 "탐지" 단계에서 도움이 되는 아이덴티티를 갖고 있는 서비스이므로 GuardDuty 는 "조사" 단계의 역할을 해주는 Detective 와 분리되도록 설계되었습니다. 대신, GuardDuty 콘솔에서 조사를 원하는 finding 을 선택하여 Detective 콘솔로 넘어오는 것은 가능합니다! 바로 아래와 같이요!

짜잔! 그러면 아래와 같은 조사의 첫 화면이 보입니다. 누군가가 ListAccessKeys API 를 루트계정을 통해 실행한 사실이 탐지되었네요! 서둘러서 확인해봐야겠습니다.

GuardDuty finding ID 가 표시됨과 함께, 관련 어카운트 정보, 탐지 시각 등이 제일 먼저 보입니다.

조금 더 스크롤을 내려보면, AWS user details 정보가 표시되고 API 호출에 따른 성공/실패 그래프, 그리고 사용한 API 이력에 대한 기록을 확인할 수 있습니다.

일반적인 공격 패턴이라면 실패한 API 가 초반에는 굉장히 많았다가 점점 성공횟수가 증가하는 패턴을 보이게 되는데, 이번에는 루트계정을 사용하는거라 애초에 모든 작업이 다 성공할 것임을 알 수 있으므로 그리 유용하게 확인할 수 있는 사실은 아닌것 같습니다. 어떤 일을 했는지 확인해보니 ConsoleLogin, GetAccountPasswordPolicy, GetAccountSummary, ListAccessKeys, ListAccountAliases, ListMFADevices 등의 정말 정직한(?) 루트 어드민의 관리자 일을 수행하였군요! (라기보다는 루트계정으로 IAM 콘솔을 접속한 모양새네요)

이번에는 New Behavior: AWS user 탭으로 이동해서 사용자의 위치정보를 확인해보겠습니다. 본 어카운트의 소유주가 거주하는 도쿄지역에서 모든 API 콜이 실행되었으므로 역시 관리자가 실행한 것이 맞는 것 같네요! 오탐의 가능성이 높아졌습니다.

스크롤을 마지막까지 내려보면 User agent 를 확인할 수가 있습니다. 해당시각에, 위와같은 User agent 와 동일한 브라우저로 관리자가 직접 콘솔에 로그인해서 IAM 에 접속했다는 사실만 확인하면 오탐인 것이 밝혀질 것 같습니다!

이번 finding 은 오탐이라는 사실은 거의 밝혀냈지만 조금만 더 둘러보도록 하죠.

Overview: AWS account 탭으로 이동하면, 해당 AWS 어카운트에서 발생한 findings 를 한데 모아서 리스팅해주고 있습니다. 단편화된 정보만으로는 공격자가 의도하는 큰그림을 못보게 될 가능성이 있으므로, 전체적으로 해당 어카운트에 어떠한 일들을 했는지, 어떤 시큐리티 인시던트를 초래했는지를 한눈에 확인할 수 있어서 큰그림을 보기에 적합한 탭입니다.

이제 Amazon Detective 를 사용하는 방법에 대해 좀 감이 오셨나요?ㅎㅎ

이번에는 다른 GuardDuty finding 을 한번 확인해보겠습니다.

특정 IP 에서 EC2 인스턴스에 brute force 공격을 하고 있다는 finding 입니다. 이것도 정탐인지 오탐인지부터 확인해봐야겠네요!

스크롤을 쭉 내려보니 VPC Flow Logs 를 깔끔한 표로 확인할 수가 있습니다. 각 필드별로 정렬해서 확인할 수도 있고, 특정 IP 를 클릭해서 해당 IP 와 관련있는 다른 정보들도 함께 볼 수 있습니다.

해당 EC2 담당자가 어떤 IP 를 사용하고 있는지만 특정하면 정탐인지 오탐인지 알 수 있겠군요!

Amazon Detective 사용시 주의사항

Amazon Detective 를 사용함에 있어서 주의사항들이 있습니다. 먼저, Amazon Detective 의 정보들을 이것저것 보다보면 IP 나 AWS account 등을 "클릭" 하게 되는 경우가 빈번히 발생합니다. 조사과정중에 "무의식" 중에 발생하는 일이므로 조사의 "시간대" 에 대해 잊어버리기 십상인데요, 처음에 시간대 설정을 해두었더라도 아래와 같이 Lock 을 걸어두지 않으면 이곳 저곳을 떠돌며 네비게이션 중에 시간대가 초기화되어 버리는 불상사가 발생하므로 황금같은 시간을 날려버리기 십상입니다. Detective 를 사용하면서 시간대를 특정하고 싶다면, 반드시 Lock 기능을 잊지 말고 해두도록 합시다!!

또한, Amazon GuardDuty 의 finding 을 빠르게 업데이트 하면 할 수록 Amazon Detective 에서 활용할 수 있는 정보들도 많아집니다. 현시점 기준으로 가장 짧은 주기인 15분을 Amazon GuardDuty 에서 설정해두는것도 꼭꼭!! 해두는 것이 중요합니다. 지난번의 GuardDuty 글에서도 언급한 내용이죠 :)

비용에 대하여

그래서 이 편리한 도구가 얼마나 하는데!! 비용이 얼만데!! 라고 하시는 분들은 우선 활성화 시킨 후에 사용되는 요금을 아래와 같이 확인해보셔도 될 것 같습니다! 어차피 한달간은 무료니까요!ㅎㅎ

또한, 조사를 얼마나 하든 관계없이 "분석한 데이터 (로그) 사이즈" 에 따라 과금되는 정책을 갖고 있습니다. 분석을 통해 형성된 시큐리티 그래프는 1년간 보존된다고 하네요!

AWS 를 작게 사용하는 기업의 경우 월 수달러정도 나오면 많이 나온 편일테고, 큰 규모에서 사용한다고 하더라도 과금정책이 규모가 커지면 커질수록 더 저렴해지는 구성을 가지고 있기때문에 가성비가 매우 뛰어난 서비스라는 것을 알 수 있습니다.

이 글의 핵심포인트

주저리주저리 이것저것 너무 설명이 길었는데요, 이번 글의 핵심 포인트는 바로 Amazon Detective 를 모든 어카운트, 모든 리젼에 지금 당장 활성화시키자!! 라는 것입니다. 물론, Amazon GuardDuty 도 함께요ㅎㅎ 시큐리티 사고는 언제든지 터질 수 있고, 항상 그에 대한 대비를 하고 있어야합니다. 시큐리티에 있어서 완벽이란 존재하지 않겠지만, 이렇게 쉽고 효과적으로 활용할 수 있는 도구들이 있는데 사용하지 않는 것은 정말 어리석은 짓이겠죠. 지금 당장 아래의 파이썬 스크립트를 실행시켜서 (모든 어카운트의) 모든 리젼의 Amazon Detective 를 활성화시킵시다! (단, 위에서 설명했듯이, Amazon GuardDuty 가 활성화되어 있어야한다는 것이 전제입니다)

import boto3

## 세션을 생성합니다
boto3_role = boto3.session.Session(profile_name='xxxx', region_name='ap-northeast-1')

## 모든 리젼 정보를 리스트로 얻어옵니다
ec2 = boto3_role.client('ec2')
regions = [ region['RegionName'] for region in ec2.describe_regions()['Regions'] ]

print('Enabling Detective on each region...')

for region in regions:
    msg = "# Region : {} : ".format(region)

    try:
        ## Detective 의 Graph 를 생성하는 API 를 호출합니다.
        detective = boto3_role.client('detective', region_name=region)
        result = detective.create_graph()
        msg += 'success (GraphArn: {})'.format(result['GraphArn'])
    except Exception as e:
        msg += 'failed (exception message : {})'.format(e)
    
    print(msg)

글을 맺으며

Amazon Detective 를 구글링해보면 한국어로 된 포스팅이 하나도 없음을 깨닫고, 참고가 될 만한 포스팅을 작성해보기로 마음먹었습니다! 이번 포스팅을 통해 많은 분들이 Amazon GuardDuty 와 더불어, Amazon Detective 의 효용성에 대해 아실 수 있는 계기가 되었으면 합니다.

이상, 컨설팅부의 김태우였습니다 :)